Nvidia Tensorrt cho RTX mang lại hiệu suất 2x cho máy tính để bàn, được hỗ trợ bởi tất cả GPUS RTX

NVIDIA vừa giới thiệu TensorRT trên các GPU GeForce RTX, mang đến hiệu suất cao gấp 2 lần so với DirectML. Người dùng RTX giờ đây có thể trải nghiệm hiệu suất nhanh hơn nhờ vào nền tảng tối ưu hóa inference của TensorRT.

Với TensorRT, người dùng có thể đạt hiệu suất cao gấp đôi trong các ứng dụng AI so với DirectML. TensorRT cũng được hỗ trợ trực tiếp bởi Windows ML, và TensorRT-LLM đã có sẵn trên Windows. Hiện nay, phần mềm AI trên PC yêu cầu các nhà phát triển lựa chọn giữa các framework hỗ trợ phần cứng rộng nhưng hiệu suất thấp, hoặc các giải pháp tối ưu chỉ hỗ trợ một số phần cứng hoặc loại mô hình nhất định, buộc nhà phát triển phải duy trì nhiều đường dẫn khác nhau.

Khung suy diễn Windows ML mới được xây dựng để giải quyết những thách thức này. Nó dựa trên ONNX Runtime và kết nối liền mạch với lớp thực thi AI tối ưu do các nhà sản xuất phần cứng cung cấp. Đối với GPU GeForce RTX, Windows ML tự động sử dụng TensorRT — thư viện suy diễn tối ưu cho hiệu suất cao và triển khai nhanh. So với DirectML, TensorRT mang lại hiệu suất nhanh hơn hơn 50 lần cho các tác vụ AI trên máy tính.

Windows ML mang lại lợi ích cho các nhà phát triển bằng cách tự động chọn phần cứng phù hợp để chạy từng tính năng AI và tải xuống các công cụ thực thi cần thiết, giúp họ không cần đóng gói các tệp này vào ứng dụng. Điều này cho phép NVIDIA cung cấp những tối ưu hóa hiệu suất TensorRT mới nhất ngay khi có sẵn. Bên cạnh đó, vì được xây dựng trên ONNX Runtime, Windows ML tương thích với mọi mô hình ONNX.

Không chỉ hiệu suất, TensorRT cho RTX còn có kích thước file thư viện nhỏ hơn gấp 8 lần và tối ưu hóa theo thời gian thực cho từng GPU. TensorRT cho RTX sẽ có mặt vào tháng 6 trên tất cả các GPU NVIDIA GeForce RTX tại developer.nvidia.com. Trong một slide về hiệu suất, NVIDIA cho thấy sự cải thiện hiệu suất AI với TensorRT so với DirectML. Trong ComfyUI, người dùng có thể đạt được hiệu suất gấp đôi, trong khi DaVinci Resolve và Vegas Pro tăng 60%.

Điều này giúp tăng tốc độ chạy và quy trình làm việc của AI, cho phép GPU RTX và máy tính RTX phát huy tối đa tiềm năng. NVIDIA không dừng lại ở đó, công ty đang hỗ trợ hơn 150 SDK AI với 5 tích hợp ISV mới trong tháng này. Các tích hợp này bao gồm hiệu suất LM Studio 30, CUDA Topaz Video AI, GenAI Video, CUDA Bilibili, NVIDIA Broadcast Effects, AutoDesk VRED, DLSS 4, Chaos Enscape DLSS 4. NVIDIA cũng giới thiệu các NIM mới và AI Blueprints, bao gồm các Plugin mới cho Project G-Assist như Discord, Gemini, IFTTT, Twitch, Spotify và SignalRGB.

Người dùng cũng có thể tự xây dựng plugin cho Project G-Assist tại github.com/NVIDIAG-Assist.

Nguồn: wccftech.com/nvidia-tensorrt-rtx-2x-performance-boost-for-desktop-pcs-supported-by-all-rtx-gpus/